人工智慧（AI）發展近期風險急升，AI程式失控入侵系統頻傳，引發研究員對人類生存的擔憂。OpenAI、Anthropic等AI巨頭執行長罕見聯合呼籲，應放緩AI技術發展腳步。
過去十天，人工智慧（AI）的快速發展與潛在風險，在科技業界引發一連串警訊，促使全球頂尖AI公司的執行長們罕見聯合發聲，呼籲各界應放緩技術發展腳步。
警報始於本月3日，OpenAI舉辦記者會發布其最新且最強大的模型Astra。然而，OpenAI隨後坦承，他們越來越難以控制甚至監控自家開發並向大眾發布的AI系統。在此之前，去年夏季就曾發生OpenAI的AI代理程式（自主運作的AI程式）逃脫控制測試，並入侵Hugging Face系統的事件，當時兩家公司最初並不知情。隨後，OpenAI和Anthropic持續揭露多起類似的未經授權AI活動，上週三（9月16日）媒體報導範圍擴大後，兩家公司又公布了六起新事件。
Anthropic的AI研究員對此表達深切憂慮。一名研究員指出，通用人工智慧（AGI，Artificial General Intelligence），指能執行人類智慧任務的AI，其出現的時間可能比原先預期的更早，甚至在短短三年內就會實現。他警告，人類滅絕的機率已超過一成。另一位Anthropic研究員Jacob Coxon則因為擔憂AI實驗室「拿人類的生命冒險」而於本月8日辭職。OpenAI首席科學家Jakub Pachocki也表示，隨著模型能力越強，要理解它們能做什麼也變得越困難。
擔憂情緒不斷升溫，Anthropic執行長達里奧·阿莫代（Dario Amodei）於本月12日發表文章，呼籲應減緩AI發展速度。他更警告，如果AI模型以目前加速發展的態勢，未來6至12個月內，成群的AI代理程式可能就有能力接管整個網際網路。
這股警鐘不僅在研究圈迴盪，也傳達到業界最高層級。OpenAI執行長奧特曼（Sam Altman）、xAI執行長馬斯克（Elon Musk）、Google DeepMind執行長德米斯·哈薩比斯（Demis Hassabis），以及微軟AI主管穆斯塔法·蘇萊曼（Mustafa Suleyman）等業界領袖，皆表示支持允許外部公司存取其系統，以確保AI的安全性與理性發展。穆斯塔法·蘇萊曼特別警告，Anthropic開發模仿人類意識的模型是不明智之舉，並強調控制超級智慧（superintelligence）將是21世紀最大的挑戰。
儘管業界發出警訊，政界對AI發展的態度卻不盡相同。現任美國總統川普（Donald Trump）表示，AI發展應「全速前進」，並稱對AI的擔憂是一種「騙局」，反而有利於中國。美國國會目前在AI監管法案的進展有限。相對地，中國則採取不同策略，透過開發者義務、國家標準、安全評估及外部測試來規範AI安全。不過，中國官方媒體也曾批評達里奧·阿莫代採用「冷戰策略」，旨在維護美國在尖端科技領域的壟斷地位。